Turn `url_ref` utility function into method.

Auto merge of #2648 - frewsxcv:unused-to-url, r=alexcrichton

Remove unused `ToUrl` impls.

None

Remove unused `ToUrl` impls.

Auto merge of #2635 - frewsxcv:toml-cleanup, r=alexcrichton

Various cleanup in `src/cargo/util/toml.rs`.

None

Auto merge of #2639 - SimonSapin:url-1.0, r=alexcrichton

Update to rust-url 1.x

This is ready to go now :)

Auto merge of #2634 - frewsxcv:flake8, r=alexcrichton

Address flake8 issues.

None

Update to rust-url 1.x

Auto merge of #2636 - sanxiyn:unused-trait-import, r=alexcrichton

Remove unused trait imports

Update OpenSSL version to 1.0.2h

Remove unused trait imports

Utilize `if let` construct over single branch `match`.

Remove unnecessary `Vec` allocation when iterating.

Refactor `TomlTarget` validation functions into methods.

Use constructor pattern for `project_layout` in `toml.rs`.

Minor whitespace fixes for flake8.

Remove unused Python imports.

Auto merge of #2405 - gkoz:reinstall, r=alexcrichton

Add `--force` flag to cargo install

Close #2082.

Adding `--force` (`-f`) instructs cargo to overwrite existing binaries (updating the metadata accordingly).
This allows updating crates via `cargo install -f <crate>`.

Installation happens in two stages now: binaries are copied into a temporary subdirectory of the destination first, then moved into destination. This should catch some errors earlier.

In case of installation error cargo will remove new binaries but won't attempt to undo successful overwrites.

cargo-install: move binaries from the build dir if possible

Try moving the binaries (and fall back to copying) if the build
directory is a temporary one (source isn't a local path).

Add `--force` flag to cargo install

Close #2082

Adding `--force` (`-f`) instructs cargo to overwrite existing binaries
(updating the metadata accordingly).
This allows updating crates via `cargo install -f <crate>`.

Installation happens in two stages now: binaries are copied into a
temporary subdirectory of the destination first, then moved into
destination. This should catch some errors earlier.

In case of installation error cargo will remove new binaries but won't
attempt to undo successful overwrites.

Auto merge of #2629 - alexcrichton:moar-rustflags, r=brson

Pass RUSTFLAGS when we learn about target info

This should help us learn about `target_feature` additions!

Closes #2628

Pass RUSTFLAGS when we learn about target info

This should help us learn about `target_feature` additions!

Closes #2628

Auto merge of #2623 - alexcrichton:nfs-lol-no, r=brson

Don't use flock on NFS mounts

Completely skip file locking when we detect an NFS mount via `statfs`.

Closes #2615

Auto merge of #2625 - aidanhs:aphs-path-crates-io, r=alexcrichton

`path` dependencies are ignored from crates.io

`path` dependencies are ignored from crates.io

Don't use flock on NFS mounts

Completely skip file locking when we detect an NFS mount via `statfs`.

Closes #2615

Auto merge of #2619 - japaric:freebsd32, r=alexcrichton

prepare for i686-unknown-freebsd nightlies

Tested with:

```
$ python -B src/etc/install-deps.py
$ ./configure --local-rust-root=$PWD/rustc --enable-optimize --enable-nightly --target=i686-unknown-freebsd
$ make
```

r? @alexcrichton

prepare for i686-unknown-freebsd nightlies

Auto merge of #2617 - sanxiyn:reset-rustflags, r=alexcrichton

Reset RUSTFLAGS when running tests

Reset RUSTFLAGS when running tests

Auto merge of #2610 - japaric:install-from-tempdir, r=alexcrichton

cargo-install: prefer building artifacts in the system temporary directory

and each cargo-install instance creates and uses its own build directory. This
allows running several cargo-install instances in parallel.

If we fail to create a temporary directory for whatever reason fallback to
creating and using a target-install directory in the current directory.

closes #2606

---

r? @alexcrichton

Qs:
- Should we preserve the current behavior (`target-install` in `cwd`) as a fallback or remove it and error if we can't create a `TempDir` in `env::temp_dir()`? (we currently error if we can't create `target-install` directory in `cwd`)

- Should I add tests for the issues I raised at #2606? If yes, how can I test `cargo-install` parallelism? Lack of "Blocking waiting for file lock on build directory" in the output of the `cargo` commands? or something else?

add tests for #2606

cargo-install: prefer building artifacts in the system temporary directory

and each cargo-install instance creates and uses its own build directory. This
allows running several cargo-install instances in parallel.

If we fail to create a temporary directory for whatever reason fallback to
creating and using a target-install directory in the current directory.

closes #2606

Auto merge of #2602 - durka:patch-5, r=alexcrichton

fix rerun-if-changed documentation

The documentation corresponded to the initial proposed implementation, which was changed to remove special handling of directories before it was ever merged.

closes #2599
r? @alexcrichton

fix rerun-if-changed documentation

The documentation corresponded to the initial proposed implementation, which was changed to remove special handling of directories before it was ever merged.

Auto merge of #2578 - alexcrichton:test-doc, r=brson

Add `cargo test --doc`

Supports testing only the documentation (like `--lib`, `--bin`, etc).

Auto merge of #2551 - alexcrichton:explain, r=brson

Add support for `cargo --explain`

The error messages in the compiler are being tweaked and will likely drop the
`rustc --explain` part of the error message in favor of `--explain`. In that
case you're expected to basically take whatever tool you're using and pass
`--explain` to it with an error code, so let's add it to Cargo as well!

Add support for `cargo --explain`

The error messages in the compiler are being tweaked and will likely drop the
`rustc --explain` part of the error message in favor of `--explain`. In that
case you're expected to basically take whatever tool you're using and pass
`--explain` to it with an error code, so let's add it to Cargo as well!

Auto merge of #2576 - alexcrichton:silence-warnings-with-q, r=brson

Don't print warnings when -q is passed

Closes #2571

Auto merge of #2579 - alexcrichton:robust-submodule, r=brson

Remove submodule directory before cloning

If the directory is in a corrupt state that caused an existing repository to not
successfully open, then we'll want to blow it away anything that already exists
to ensure we start from a clean slate.

Closes #2567

Auto merge of #2577 - alexcrichton:doc-lib-flags, r=brson

Add `cargo doc --lib/--bin`

Allows documenting a specific target.

Closes #2557

Auto merge of #2560 - alexcrichton:not-all-utf8, r=brson

Don't require all build script output to be utf-8

Build scripts often stream output of native build systems like cmake/make and
those aren't always guaranteed to produce utf-8 output. For example  German
MSVC cmake build has been reported to print non-utf-8 umlauts.

This commit instead only attempts to interpret each line as utf-8 rather than
the entire build script output. All non-utf-8 output is ignored.

Closes #2556

Auto merge of #2501 - ryanq:issue2266, r=alexcrichton

Check local targets before resolving dependencies

A call to `generate_targets(...)` before calling `resolve_dependencies()`
catches invalid target names before fetching the source for the
dependencies.

Closes #2266

Auto merge of #2592 - jethrogb:topic/list-symlinks, r=alexcrichton

Use stat() instead of lstat() in cargo --list

The OS-specific implementation is necessary because according to the docs, [DirEntry::metadata is fast on Windows](https://doc.rust-lang.org/stable/std/fs/struct.DirEntry.html#method.metadata). Note  `is_executable` is used elsewhere so we can't change that directly to accept `DirEntry` instead of `Metadata`.

Fixes #2591

Fix dead code lints on Windows

Style issue

Add test list_command_resolves_symlinks

Tests: fix grammar and extra semicolon

Style issue

Auto merge of #2590 - alexcrichton:dont-warn-about-flags-and-configs, r=brson

Have CLI take preference over config for verbosity

If a CLI option is passed, that trumps any command line configuration, otherwise
just do what we did previously.

Closes #2588

Use stat() instead of lstat() in cargo --list. Fixes #2591

Have CLI take preference over config for verbosity

If a CLI option is passed, that trumps any command line configuration, otherwise
just do what we did previously.

Closes #2588

Auto merge of #2584 - alexcrichton:auth-more, r=brson

Correctly attempt multiple usernames with libgit2

This commit corrects the logic for attempting multiple usernames with libgit2.
There is a restriction that for each authentication seession you can only
authenticate with one ssh username, but we were attempting multiple as part of
the same sesssion. Instead restart authentication whenever we try a new username.

Closes #2399

Correctly attempt multiple usernames with libgit2

This commit corrects the logic for attempting multiple usernames with libgit2.
There is a restriction that for each authentication seession you can only
authenticate with one ssh username, but we were attempting multiple as part of
the same sesssion. Instead restart authentication whenever we try a new username.

Closes #2399

Merge pull request #2587 from birkenfeld/docmenu

Doc dropdown menu: name "Cargo.toml" explicitly

Doc dropdown menu: name "Cargo.toml" explicitly

Add `cargo test --doc`

Supports testing only the documentation (like `--lib`, `--bin`, etc).

Add `cargo doc --lib/--bin`

Allows documenting a specific target.

Closes #2557

Remove submodule directory before cloning

If the directory is in a corrupt state that caused an existing repository to not
successfully open, then we'll want to blow it away anything that already exists
to ensure we start from a clean slate.

Closes #2567

Auto merge of #2575 - alexcrichton:bump, r=alexcrichton

Bump to 0.11.0

Don't print warnings when -q is passed

Closes #2571

Bump to 0.11.0

Auto merge of #2574 - alexcrichton:crates-io-bump, r=alexcrichton

Bump the crates-io crate to 0.2

Bump the crates-io crate to 0.2

Auto merge of #2562 - smaximov:doc-add-env-vars, r=alexcrichton

Document env vars introduced in PR #2523 to the docs

Document environment variables introduced in #2523 (`CARGO_PKG_NAME`, `CARGO_PKG_DESCRIPTION`, `CARGO_PKG_HOMEPAGE`).

Add reference to env vars introduced in PR #2523 to the docs

Auto merge of #2561 - alexcrichton:update-tar, r=alexcrichton

Update dependency on tar

Includes a fix for alexcrichton/tar-rs#61

Update dependency on tar

Includes a fix for alexcrichton/tar-rs#61

Don't require all build script output to be utf-8

Build scripts often stream output of native build systems like cmake/make and
those aren't always guaranteed to produce utf-8 output. For example  German
MSVC cmake build has been reported to print non-utf-8 umlauts.

This commit instead only attempts to interpret each line as utf-8 rather than
the entire build script output. All non-utf-8 output is ignored.

Closes #2556

Auto merge of #2554 - alexcrichton:robust-test, r=alexcrichton

Make a test a bit more robust to the environment

Don't filter out PATH as `rustc` may be in that directory (e.g. when using
rustup) and otherwise just have a longer subcommand.

Closes #2553

Make a test a bit more robust to the environment

Don't filter out PATH as `rustc` may be in that directory (e.g. when using
rustup) and otherwise just have a longer subcommand.

Closes #2553

Auto merge of #2465 - TheNeikos:add-version_env, r=alexcrichton

Add a new CARGO_PKG_AUTHORS environment variable

This will allow crates to use the CARGO_PKG_AUTHORS env variable to get a comma
seperated list of the authors declared in the manifest.

Closes #2441

Add a new CARGO_PKG_AUTHORS environment variable

This will allow crates to use the CARGO_PKG_AUTHORS env variable to get a colon
seperated list of the authors declared in the manifest.

Closes #2441

Merge remote-tracking branch 'origin/master' into issue2266

Only validate targets if the spec option is empty

Auto merge of #2385 - alexcrichton:top-level-overrides, r=wycats

Implement top-level overrides

This commit is an implementation of top-level overrides to be encoded into the
manifest itself directly. This style of override is distinct from the existing
`paths` support in `.cargo/config` in two important ways:

* Top level overrides are intended to be checked in and shared amongst all
  developers of a project.
* Top level overrides are reflected in `Cargo.lock`.

The second point is crucially important here as it will ensure that an override
on one machine behaves the same as an override on another machine. This solves
many long-standing problems with `paths`-based overrides which suffer from some
level of nondeterminism as they're not encoded.

From a syntactical point of view, an override looks like:

```toml
[replace]
"libc:0.2.0" = { git = 'https://github.com/my-username/libc';, branch = '0.2-fork' }
```

This declaration indicates that whenever resolution would otherwise encounter
the `libc` package version 0.2.0 from crates.io, it should instead replace it
with the custom git dependency on a specific branch.

The key "libc:0.2.0" here is actually a package id specification which will
allow selecting various components of a graph. For example the same named
package coming from two distinct locations can be selected against, as well as
multiple versions of one crate in a dependency graph. The replacement dependency
has the same syntax as the `[dependencies]` section of Cargo.toml.

One of the major uses of this syntax will be, for example, using a temporary
fork of a crate while the changes are pushed upstream to the original repo. This
will avoid the need to change the intermediate projects immediately, and over
time once fixes have landed upstream the `[replace]` section in a `Cargo.toml`
can be removed.

There are also two crucial restrictions on overrides.

* A crate with the name `foo` can only get overridden with packages also of
  the name `foo`.
* A crate can only get overridden with a crate of the exact same version.

A consequence of these restrictions is that crates.io cannot be used to replace
anything from crates.io. There's only one version of something on crates.io, so
there's nothing else to replace it with (name/version are a unique key).

Closes #942

Auto merge of #2547 - alexcrichton:more-locking, r=brson

Add file locks in a few more locations

One was discovered by making `target_dir` return a `Filesystem`, the other was discovered by failing tests on the nightly OSX bots.

Protect against concurrent access to Cargo.lock

CI tests seen to be spurious failing on OSX due to this, I believe it's because
one process is concurrently writing out Cargo.lock while the other is trying to
read it in, so one of them gets a corrupt version.

This would ideally be fixed from `pkg.root()` returning a `Filesystem`, but that
was unfortunately such an invasive change that it seemed untenable. Additionally
we generally don't write files into the source tree, so if this is the only
instance it's perhaps not so bad trying to be robust in to the future.

Change `Config::target_dir` to return Filesystem

This is a shared directory among multiple Cargo processes so access to it needs
to be properly synchronized. This commit changes the API of `Config::target_dir`
and then propagates the changes outward as necessary.

One fallout of this change is now we allow release/debug builds to proceed in
parallel.

Auto merge of #2541 - alexcrichton:aarch64, r=alexcrichton

Download the aarch64 standard library on the bots

Download the aarch64 standard library on the bots

Auto merge of #2534 - alexcrichton:lock-with-git-repos, r=brson

Replace existing sources before updating

Currently sources may acquire file locks to ensure that they're not tampered
with while they're in use. We may load two sources to the same location,
however, in the case of git repositories which need to be updated. Cargo will
first load a locked version of the source and then may load an unlocked version,
and these two loads currently deadlock.

This commit tweaks the logic when updating a source to only update it after the
previous source has been replaced.

Closes #2533

Auto merge of #2538 - alexcrichton:aarch64, r=alexcrichton

Prepare for aarch64 nightlies and CI

Prepare for aarch64 nightlies and CI

Auto merge of #2505 - srinivasreddy:improve_msg, r=alexcrichton

Create `Cargo.lock` if it does not exist.

remote unnecessary expression

Auto merge of #2491 - JIghtuse:master, r=alexcrichton

Reject manifest with duplicate dependencies in different targets

Closes #2023

Generate the lock file when there is no lock file

Replace existing sources before updating

Currently sources may acquire file locks to ensure that they're not tampered
with while they're in use. We may load two sources to the same location,
however, in the case of git repositories which need to be updated. Cargo will
first load a locked version of the source and then may load an unlocked version,
and these two loads currently deadlock.

This commit tweaks the logic when updating a source to only update it after the
previous source has been replaced.

Closes #2533

Auto merge of #2532 - japaric:musl, r=alexcrichton

install-deps.py: add x86_64-unknown-linux-musl target

This lets me build a statically linked cargo on our linux-cross Docker image with the following
commands:

$ apt-get install musl-tools # for musl-gcc, which is needed to build openssl
$ ./.travis.install.deps.sh
$ ./configure --local-rust-root=$(pwd)/rustc --enable-nightly --target=x86_64-unknown-linux-musl
$ make
$ file target/x86_64-unknown-linux-musl/release/cargo
cargo: ELF 64-bit LSB executable, x86-64, version 1 (GNU/Linux), statically linked (..)

---

r? @alexcrichton -- If we want start building cargo for this target on the bots, we'll have to modify the linux-cross Dockerfile to install musl-tools.
cc @eddyb

Auto merge of #2531 - alexcrichton:fix-stdin, r=alexcrichton

Update Rust to pick up rust-lang/rust#32257

Closes #2530

Update Rust to pick up rust-lang/rust#32257

Closes #2530

install-deps.py: add x86_64-unknown-linux-musl target

This lets me build a statically linked cargo on our linux-cross Docker image with the following
commands:

$ apt-get install musl-tools # for musl-gcc, which is needed to build openssl
$ ./.travis.install.deps.sh
$ ./configure --local-rust-root=$(pwd)/rustc --enable-nightly --target=x86_64-unknown-linux-musl
$ make
$ file target/x86_64-unknown-linux-musl/release/cargo
cargo: ELF 64-bit LSB executable, x86-64, version 1 (GNU/Linux), statically linked (..)

Auto merge of #2523 - srinivasreddy:issue-2504, r=alexcrichton

expose cargo package name as CARGO_PKG_NAME

implemented cargo package name as CARGO_PKG_NAME; And package description and home page are exposed as  CARGO_PKG_DESCRIPTION and CARGO_PKG_HOMEPAGE respectively. And add a test case - for CARGO_PKG_NAME, CARGO_PKR_DESCRIPTION, CARGO_HOMEPAGE.

Implement top-level overrides

This commit is an implementation of top-level overrides to be encoded into the
manifest itself directly. This style of override is distinct from the existing
`paths` support in `.cargo/config` in two important ways:

* Top level overrides are intended to be checked in and shared amongst all
  developers of a project.
* Top level overrides are reflected in `Cargo.lock`.

The second point is crucially important here as it will ensure that an override
on one machine behaves the same as an override on another machine. This solves
many long-standing problems with `paths`-based overrides which suffer from some
level of nondeterminism as they're not encoded.

From a syntactical point of view, an override looks like:

```toml
[replace]
"libc:0.2.0" = { git = 'https://github.com/my-username/libc', branch = '0.2-fork' }
```

This declaration indicates that whenever resolution would otherwise encounter
the `libc` package version 0.2.0 from crates.io, it should instead replace it
with the custom git dependency on a specific branch.

The key "libc:0.2.0" here is actually a package id specification which will
allow selecting various components of a graph. For example the same named
package coming from two distinct locations can be selected against, as well as
multiple versions of one crate in a dependency graph. The replacement dependency
has the same syntax as the `[dependencies]` section of Cargo.toml.

One of the major uses of this syntax will be, for example, using a temporary
fork of a crate while the changes are pushed upstream to the original repo. This
will avoid the need to change the intermediate projects immediately, and over
time once fixes have landed upstream the `[replace]` section in a `Cargo.toml`
can be removed.

There are also two crucial restrictions on overrides.

* A crate with the name `foo` can only get overridden with packages also of
  the name `foo`.
* A crate can only get overridden with a crate of the exact same version.

A consequence of these restrictions is that crates.io cannot be used to replace
anything from crates.io. There's only one version of something on crates.io, so
there's nothing else to replace it with (name/version are a unique key).

Closes #942

Auto merge of #2519 - alexcrichton:update-curl, r=alexcrichton

Update curl-sys

Picks up a fix to hopefully and correctly configure OpenSSL to be enabled in
cross-compiled situations where OpenSSL comes from a different location
(currently specified by the `OPENSSL_ROOT_DIR` environment variable that libssh2
also reads).

Update curl-sys

Picks up a fix to hopefully and correctly configure OpenSSL to be enabled in
cross-compiled situations where OpenSSL comes from a different location
(currently specified by the `OPENSSL_ROOT_DIR` environment variable that libssh2
also reads).

Auto merge of #2513 - alexcrichton:xcompile, r=alexcrichton

Fix nightly dist builds

* When downloading rustc, also download a number of cross-std libraries so we
  can cross compile with that compiler.
* Only build OpenSSL on some --enable-nightly builds, not all. For example
  Windows and OSX don't want to link statically to OpenSSL.

Fix nightly dist builds

* When downloading rustc, also download a number of cross-std libraries so we
  can cross compile with that compiler.
* Only build OpenSSL on some --enable-nightly builds, not all. For example
  Windows and OSX don't want to link statically to OpenSSL.

Auto merge of #2510 - alexcrichton:xcompile, r=brson

Prepare for ARM/FreeBSD/NetBSD nightlies

This commit beefs up Cargo's makefiles to support nightly builds of Cargo for
multiple platforms. This primarily involves vendoring the logic of how to build
OpenSSL for statically linking against Cargo into the Makefiles directly. We'll
have to update the version of OpenSSL as releases are made, but we essentially
already do that with the normal docker container.

The Linux nightlies will still run in the normal dist docker container (a really
old CentOS build) and builds for new platforms will happen in the standard
linux-cross container we use for other cross builds. The nightly versions of
these will produce Cargo tarballs for a whole bunch of platforms to get
uploaded.

This has been tested in the `alexcrichton/rust-slave-linux-cross:2016-03-17b`
docker container for the 3 ARM targets and FreeBSD target. NetBSD will come once
rust-lang/rust#32407 lands.